지도 학습

지도 학습 모델을 학습시키기 위해 사용되는 데이터를 훈련 데이터라고 부른다. 지도 학습의 핵심은 이 훈련 데이터가 입력값과 그에 대응하는 정답, 즉 레이블로 구성된다는 점이다. 예를 들어, 고양이와 개의 사진을 분류하는 모델을 학습시킬 때, 각 사진 파일이 입력값이라면 "고양이" 또는 "개"라는 텍스트나 숫자 코드가 해당 사진의 레이블이 된다.

레이블은 모델이 예측해야 할 목표값으로, 문제의 종류에 따라 형태가 달라진다. 분류 문제에서는 레이블이 이산적인 범주값(예: 스팸/정상 메일, 병종 A/B/C)인 반면, 회귀 문제에서는 레이블이 연속적인 수치값(예: 주택 가격, 다음날 주식 종가)이다. 충분한 양과 질을 갖춘 훈련 데이터와 정확한 레이블이 준비되어야 효과적인 모델 학습이 가능하다.

이러한 훈련 데이터 세트는 일반적으로 과거에 수집된 기록 데이터를 기반으로 구축된다. 데이터 과학자의 핵심 작업 중 하나는 원시 데이터를 정제하고 적절한 특징을 추출하여 모델이 이해할 수 있는 입력 형태로 가공하고, 각 샘플에 정확한 레이블을 부여하는 것이다. 레이블링 작업은 많은 경우 수동으로 이루어지며, 이 과정에서 발생할 수 있는 오류나 주관성은 모델 성능에 직접적인 영향을 미친다[2].

훈련 데이터는 일반적으로 특징 벡터와 레이블의 쌍으로 구성됩니다. 특징 벡터는 모델의 입력이 되는 변수들로, 각각의 데이터 포인트를 설명하는 속성이나 측정값입니다. 예를 들어, 주택 가격을 예측하는 문제에서 방의 개수, 평수, 위치 등이 입력 변수가 될 수 있습니다. 이 변수들은 독립 변수, 예측 변수, 특징(feature)이라고도 불립니다.

반면, 목표 변수는 모델이 예측하거나 분류하려는 대상입니다. 이는 지도 학습에서 제공되는 정답 레이블에 해당하며, 종속 변수, 응답 변수, 출력 변수라고도 합니다. 위의 예시에서 주택의 실제 가격이 목표 변수가 됩니다. 목표 변수의 형태에 따라 지도 학습의 주요 과제인 분류와 회귀가 구분됩니다.

입력 변수와 목표 변수의 관계는 함수로 표현될 수 있습니다. 지도 학습 모델은 주어진 입력 변수(X)로부터 목표 변수(y)를 매핑하는 함수 f를 근사하는 것을 목표로 합니다. 즉, y ≈ f(X)라는 관계를 학습합니다. 이 함수는 선형 회귀에서의 직선 방정식부터 심층 신경망의 복잡한 비선형 변환까지 다양한 형태를 가질 수 있습니다.

데이터 전처리 단계에서 입력 변수는 종종 정규화나 표준화 과정을 거쳐 모델 학습의 효율성과 안정성을 높입니다. 목표 변수는 회귀 문제에서는 연속적인 실수값을, 분류 문제에서는 이산적인 클래스 레이블을 가지며, 이에 맞는 적절한 손실 함수가 선택됩니다.

분류 알고리즘은 지도 학습의 주요 유형 중 하나로, 입력 데이터를 미리 정의된 범주 또는 클래스로 구분하는 작업을 수행한다. 예를 들어, 이메일을 '스팸'과 '정상'으로 나누거나, 붓꽃의 측정값을 종에 따라 분류하는 것이 이에 해당한다. 알고리즘은 훈련 데이터와 그에 해당하는 레이블을 학습하여, 새로운 데이터가 어떤 클래스에 속할지 예측하는 분류기를 구축한다.

분류 알고리즘은 크게 이진 분류와 다중 클래스 분류로 나눌 수 있다. 이진 분류는 두 개의 클래스 중 하나를 선택하는 문제이며, 다중 클래스 분류는 세 개 이상의 클래스 중 하나를 예측한다. 주요 알고리즘으로는 로지스틱 회귀, 의사결정나무, 랜덤 포레스트, 서포트 벡터 머신, 나이브 베이즈, k-최근접 이웃 알고리즘 등이 있다.

각 알고리즘은 데이터의 특성과 문제의 복잡도에 따라 적합성이 달라진다. 간단한 결정 경계에는 로지스틱 회귀가, 비선형적이고 복잡한 관계를 모델링할 때는 서포트 벡터 머신이나 신경망이 자주 사용된다. 의사결정나무는 해석이 용이하지만, 이를 앙상블한 랜덤 포레스트나 그래디언트 부스팅은 일반적으로 더 높은 예측 성능을 보인다.

분류 모델의 성능은 정확도, 정밀도, 재현율, F1 점수 등의 지표로 평가된다. 특히 클래스 간 데이터 불균형이 심한 경우, 단순 정확도보다는 재현율과 정밀도를 함께 고려하는 것이 중요하다.

회귀 알고리즘은 연속적인 수치 값을 예측하는 지도 학습의 한 유형이다. 분류가 이산적인 카테고리를 예측하는 것과 달리, 회귀는 주택 가격, 기온, 판매량과 같은 실수 값을 결과로 도출한다. 입력 변수와 목표 변수 간의 관계를 모델링하여, 새로운 입력이 주어졌을 때 그에 상응하는 연속적인 출력 값을 추정하는 것이 목표이다.

주요 회귀 알고리즘은 다음과 같다.

회귀 모델의 성능은 주로 예측값과 실제값 사이의 오차를 기반으로 평가된다. 대표적인 평가 지표로는 평균 제곱 오차, 평균 절대 오차, 결정 계수 등이 있다[3]. 알고리즘 선택은 데이터의 특성, 관계의 선형성, 그리고 과적합 방지 필요성 등에 따라 결정된다.

선형 모델은 입력 변수(특성)의 선형 결합을 통해 목표 변수를 예측하는 모델이다. 가장 기본적이고 해석이 용이한 지도 학습 알고리즘으로, 회귀 분석과 분류 문제 모두에 널리 사용된다. 모델의 핵심은 가중치(weight)와 편향(bias)이라는 매개변수를 데이터로부터 학습하여 최적의 선형 관계를 찾는 것이다.

분류 문제에서는 로지스틱 회귀가 대표적이다. 이 모델은 선형 함수의 출력을 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환하여 이진 분류를 수행한다. 회귀 문제에서는 선형 회귀가 기본 모델로, 연속적인 목표 값을 예측한다. 다중 입력 변수를 다루는 다중 선형 회귀와 변수 간 상호작용을 고려한 다항식 회귀 등으로 확장될 수 있다.

선형 모델의 학습은 주로 최소제곱법이나 경사 하강법을 통해 손실 함수를 최소화하는 방식으로 이루어진다. 정규화 기법을 결합한 릿지 회귀와 라쏘 회귀는 모델의 복잡도를 제어하고 과적합을 방지하는 데 효과적이다.

이 모델들은 계산 비용이 낮고 구현이 간단하며, 학습된 가중치를 통해 각 특성이 예측에 미치는 영향을 직접 해석할 수 있다는 장점이 있다. 그러나 데이터가 복잡한 비선형 관계를 보일 경우 예측 성능이 제한될 수 있다.

트리 기반 모델은 의사결정나무를 기본 구성 요소로 사용하는 지도 학습 알고리즘의 한 유형이다. 이 모델들은 데이터의 특성에 기반하여 일련의 질문(분기)을 통해 결정을 내리는 트리 구조를 구축한다. 최종 예측은 트리의 잎 노드에 도달했을 때 이루어진다. 단일 의사결정나무는 해석이 용이하지만, 데이터의 작은 변동에 민감하고 과적합되기 쉬운 단점이 있다. 이를 보완하기 위해 여러 개의 트리를 결합한 앙상블 학습 방법이 널리 사용된다.

대표적인 트리 기반 앙상블 모델로는 랜덤 포레스트, 그래디언트 부스팅 머신 등이 있다. 랜덤 포레스트는 배깅 방식을 사용하여 여러 개의 깊은 트리를 독립적으로 학습하고, 그 결과를 평균하거나 투표하여 예측한다. 이 과정에서 각 트리는 데이터의 무작위 하위 집합과 특성의 무작위 하위 집합을 사용하여 학습되므로, 모델의 다양성이 증가하고 과적합을 억제하는 효과가 있다.

그래디언트 부스팅 머신은 부스팅 방식에 속하며, 여러 개의 얕은 트리(약한 학습기)를 순차적으로 학습시킨다. 각 새로운 트리는 이전 트리들이 예측한 오차(잔차)를 줄이는 방향으로 학습되어, 점진적으로 모델의 성능을 향상시킨다. XGBoost, LightGBM, CatBoost 등은 그래디언트 부스팅의 효율성을 높인 현대적인 구현체들이다.

트리 기반 모델은 수치형과 범주형 데이터를 함께 처리할 수 있고, 특징의 단위나 스케일에 영향을 받지 않으며, 비선형 관계를 잘 포착한다는 장점이 있다. 그러나 데이터가 매우 고차원이거나 희소한 경우에는 성능이 떨어질 수 있으며, 트리의 깊이가 깊어지면 모델 해석이 어려워질 수 있다.

서포트 벡터 머신(SVM)은 분류와 회귀 분석에 모두 사용되는 강력한 지도 학습 알고리즘이다. 이 모델의 핵심 목표는 데이터 포인트들을 가장 넓은 마진(margin)으로 분리하는 최적의 결정 경계(decision boundary) 또는 초평면(hyperplane)을 찾는 것이다. 이때 결정 경계를 정의하는 데 직접적으로 기여하는 소수의 중요한 훈련 데이터 샘플들을 서포트 벡터(support vector)라고 부른다.

서포트 벡터 머신의 가장 큰 특징은 커널 트릭(kernel trick)을 활용할 수 있다는 점이다. 원본 특징 공간에서 선형적으로 분리하기 어려운 데이터를, 고차원의 새로운 공간으로 변환하여 선형 분리가 가능하도록 만든다. 이 변환을 실제로 수행하지 않고, 커널 함수를 통해 고차원 공간에서의 내적 계산만으로 효과적으로 분류를 수행할 수 있다. 대표적인 커널 함수로는 선형 커널, 다항식 커널, 방사 기저 함수(RBF) 커널 등이 있다.

서포트 벡터 머신은 다양한 분야에서 활용된다. 주요 적용 사례는 다음과 같다.

이 모델은 고차원 데이터에서도 효과적이며, 과적합에 대한 저항력이 비교적 강한 편이다. 그러나 대규모 데이터셋에 대해 훈련 시간이 길어질 수 있으며, 커널과 관련 매개변수 선택에 성능이 크게 의존한다는 한계도 있다.

신경망은 인간의 뇌 신경 세포(뉴런)의 연결 구조에서 영감을 받아 설계된 머신러닝 모델이다. 입력층, 하나 이상의 은닉층, 출력층으로 구성된 계층적 구조를 가지며, 각 층은 여러 개의 인공 뉴런으로 이루어져 있다. 각 뉴런은 입력값에 가중치를 곱하고 편향을 더한 후, 활성화 함수를 통과시켜 출력을 생성한다. 이 출력은 다음 층의 입력으로 전달된다. 이러한 다층 구조 덕분에 신경망은 선형 모델로는 표현하기 어려운 복잡한 비선형 관계를 학습할 수 있다.

신경망의 학습은 역전파 알고리즘을 통해 이루어진다. 모델의 예측값과 실제 레이블 간의 오차를 계산하는 손실 함수의 값을 최소화하는 방향으로, 각 연결의 가중치와 편향을 조정한다. 이 과정에서 경사 하강법과 같은 최적화 기법이 사용된다. 은닉층의 수와 각 층의 뉴런 수는 모델의 복잡도를 결정하는 주요 하이퍼파라미터이다.

깊은 은닉층을 가진 신경망을 특히 딥러닝이라고 부르며, 대량의 데이터와 높은 계산 자원을 바탕으로 텍스트, 이미지, 음성 등 다양한 형태의 복잡한 데이터에서 뛰어난 성능을 보인다. 그러나 모델이 복잡해질수록 과적합 위험이 증가하고, 학습에 필요한 데이터 양과 계산 비용이 크게 늘어나는 단점도 있다.

모델 학습의 핵심 목표는 손실 함수를 최소화하는 모델의 매개변수를 찾는 것이다. 손실 함수는 모델의 예측값과 실제 레이블 값 사이의 차이를 측정하는 함수이다. 회귀 문제에서는 평균 제곱 오차가, 분류 문제에서는 교차 엔트로피가 흔히 사용되는 손실 함수의 예이다.

손실 함수의 값을 최소화하기 위해 최적화 알고리즘이 사용된다. 가장 기본적인 최적화 방법은 경사 하강법이다. 이 방법은 손실 함수의 기울기(gradient)를 계산하여, 기울기가 감소하는 방향으로 모델의 매개변수를 반복적으로 조정한다. 경사 하강법의 변형으로 학습률을 조절하거나 모멘텀을 적용한 확률적 경사 하강법, Adam 등의 고급 최적화 알고리즘이 널리 쓰인다.

이 과정에서 학습률은 매개변수 갱신의 보폭을 결정하는 중요한 초매개변수이다. 학습률이 너무 크면 최적점을 지나쳐 발산할 수 있고, 너무 작으면 학습 속도가 매우 느려지거나 지역 최소점에 갇힐 수 있다. 따라서 적절한 학습률을 설정하거나 학습 중에 조정하는 전략이 필요하다.

과적합은 모델이 훈련 데이터에 지나치게 맞춰져 새로운, 보지 못한 데이터에 대한 예측 성능이 떨어지는 현상이다. 이는 모델이 데이터의 잡음이나 무작위 변동까지 학습하여 복잡한 패턴을 암기해버렸기 때문에 발생한다. 반면, 일반화는 학습된 모델이 새로운 데이터에 얼마나 잘 적용되는지를 나타내는 능력이다. 지도 학습의 궁극적 목표는 높은 일반화 성능을 달성하는 것이다.

과적합을 유발하는 주요 원인은 모델의 복잡도가 너무 높거나 훈련 데이터의 양이 부족한 경우이다. 예를 들어, 매개변수가 많은 복잡한 신경망이나 깊이가 매우 깊은 의사결정 나무는 훈련 데이터의 세부 사항까지 완벽히 맞추려는 경향이 있다. 이를 방지하기 위한 일반적인 기법으로는 정규화, 드롭아웃, 조기 종료, 데이터 증강 등이 있다.

일반화 성능을 평가하고 과적합을 감지하기 위해 데이터를 훈련 세트, 검증 세트, 테스트 세트로 나누는 방법이 널리 사용된다. 모델은 훈련 세트로 학습되고, 검증 세트로 하이퍼파라미터를 조정하며 과적합을 모니터링한다. 최종 평가는 완전히 새로운 테스트 세트로 수행하여 모델의 실제 일반화 능력을 측정한다. 이러한 데이터 분할은 모델이 훈련 데이터에만 특화되지 않도록 하는 핵심 절차이다.

분류 모델의 성능을 정량적으로 측정하기 위해 다양한 평가 지표가 사용된다. 올바른 평가 지표 선택은 문제의 성격과 비즈니스 목표에 따라 달라진다.

가장 기본적인 평가는 혼동 행렬을 통해 이루어진다. 혼동 행렬은 예측 결과와 실제 값을 네 가지 범주(참 양성, 거짓 양성, 참 음성, 거짓 음성)로 교차 표시한 표이다. 이 표를 바탕으로 정확도, 정밀도, 재현율, F1 점수와 같은 지표를 계산할 수 있다. 정확도는 전체 예측 중 올바른 예측의 비율이지만, 데이터가 불균형할 경우 신뢰도가 낮아질 수 있다. 정밀도는 양성으로 예측한 것 중 실제 양성인 비율을, 재현율은 실제 양성 중 올바르게 양성으로 예측한 비율을 의미한다. 정밀도와 재현율은 일반적으로 트레이드오프 관계에 있으며, 이를 조화평균한 값이 F1 점수이다.

이진 분류뿐만 아니라 다중 클래스 분류 문제에서는 평가 방법이 더 복잡해진다. 각 클래스별로 정밀도와 재현율을 계산한 후, 이를 평균내는 방식이 사용된다. 마이크로 평균은 모든 클래스의 참 양성, 거짓 양성 등을 전체적으로 합산하여 지표를 계산하는 반면, 매크로 평균은 각 클래스별 지표의 산술 평균을 계산한다. 또한, ROC 곡선과 그 아래 면적인 AUC는 모델의 판별 능력을 임계값에 관계없이 평가하는 데 널리 사용된다. ROC 곡선은 거짓 양성률에 대한 참 양성률의 변화를 그래프로 나타낸 것이며, AUC 값이 1에 가까울수록 모델의 성능이 우수함을 나타낸다.

회귀 모델의 성능을 정량적으로 측정하기 위해 여러 가지 평가 지표가 사용된다. 이러한 지표는 모델이 예측한 값과 실제 관측값 사이의 차이, 즉 오차를 계산하는 방식을 바탕으로 한다. 대표적인 지표로는 평균 제곱 오차, 평균 절대 오차, 평균 제곱근 오차, 결정 계수 등이 있다.

각 지표는 오차를 측정하는 방식과 단위, 이상치에 대한 민감도가 다르다. 예를 들어, 평균 제곱 오차는 오차를 제곱하여 합산하므로 큰 오차에 대해 더욱 민감하게 반응한다. 반면, 평균 절대 오차는 절댓값을 사용하여 오차의 크기를 직접적으로 평균하므로 이상치의 영향을 상대적으로 덜 받는다. 평균 제곱근 오차는 평균 제곱 오차에 제곱근을 취해 원래 데이터와 동일한 단위로 해석할 수 있게 만든 변형이다.

결정 계수는 모델의 설명력을 평가하는 지표로, 0에서 1 사이의 값을 가지며, 1에 가까울수록 모델이 데이터의 변동을 잘 설명한다고 해석한다. 단, 변수를 무분별하게 추가하면 결정 계수 값이 인위적으로 높아질 수 있어 주의가 필요하다. 따라서 모델 평가 시에는 단일 지표에 의존하기보다는 문제의 맥락과 데이터의 특성을 고려하여 여러 지표를 종합적으로 검토하는 것이 바람직하다.